Anthropic ने अपने बग बाउंटी कार्यक्रम का विस्तार करने की घोषणा की है, जिसका उद्देश्य एक "अगली पीढ़ी के एआई सुरक्षा शमन प्रणाली" का परीक्षण करना है, जो मुख्य रूप से "सार्वभौमिक जेलब्रेक हमले" की पहचान और रक्षा पर केंद्रित है। विशेष रूप से उच्च जोखिम वाले क्षेत्रों, जिसमें CBRN रक्षा और साइबर सुरक्षा शामिल हैं, पर ध्यान केंद्रित किया गया है। प्रतिभागियों को नए सुरक्षा प्रणाली का पूर्वावलोकन करने का अवसर मिलेगा, कमजोरियों की खोज करने या सुरक्षा उपायों को बायपास करने का अवसर मिलेगा, जिसमें अधिकतम इनाम 15000 डॉलर है। यह पहल एआई प्रणाली की सुरक्षा को बढ़ाने के लिए है, सुरक्षा शोधकर्ताओं को संभावित खतरों की पहचान और समाधान में सहयोग करने के लिए आमंत्रित करती है, और एआई उद्योग में सुरक्षा प्रबंधन के लिए एक मानक स्थापित करती है।

मेटा द्वारा प्रकाशित Prompt-Guard-86M मॉडल प्रॉम्प्ट इंजेक्शन हमलों के खिलाफ रक्षा का लक्ष्य रखता है, बड़े भाषा मॉडल के अनुपयुक्त इनपुट को संभालने में सीमित करना, प्रणाली की सुरक्षा की रक्षा करना। हालाँकि, यह मॉडल खुद भी हमले के जोखिम को उजागर करता है। अमन प्रियंशु के शोध में पाया गया है कि, इनपुट में स्पेस जैसे सरल वर्ण विभाजन जोड़ने या विराम चिह्नों को हटाने के माध्यम से, मॉडल पूर्व की सुरक्षा निर्देशों को अनदेखा कर देता है, हमले की सफलता दर लगभग 100% है। यह खोज AI सुरक्षा के महत्व को उजागर करती है, हालाँकि प्रॉम्प्ट

OpenAI ने अपनी सुरक्षा प्रणाली टीम के उपायों की घोषणा की, जो AI बड़े मॉडल की सुरक्षा और विश्वसनीयता सुनिश्चित करने के लिए समर्पित है। इसमें सुरक्षा इंजीनियरिंग, मॉडल सुरक्षा अनुसंधान, सुरक्षा तर्क अनुसंधान और मानव-मशीन इंटरएक्शन जैसे कई समूह शामिल हैं, जो कृत्रिम बुद्धिमत्ता सुरक्षा समस्याओं का समाधान करते हैं। यह सुनिश्चित किया जाता है कि मॉडल के व्यवहार मानव मूल्यों के अनुरूप हों। मॉडल के व्यवहार की संगतता पर केंद्रित अनुसंधान प्राथमिकता है।

वीज़ा छुट्टियों के खरीदारी के मौसम में बिक्री में वृद्धि के साथ-साथ साइबर अपराध के हमलों का सामना कर रहा है, और धोखाधड़ी को रोकने के लिए कृत्रिम बुद्धिमत्ता उपकरणों का उपयोग कर रहा है। 30 अरब डॉलर से अधिक का निवेश करते हुए, वीज़ा ने एक मजबूत धोखाधड़ी विरोधी प्रणाली का निर्माण किया है, जो लेनदेन का वास्तविक समय में विश्लेषण करती है और 500 अद्वितीय जोखिम कारकों का आकलन करती है। हालांकि धोखाधड़ी से लड़ने के लिए एआई का उपयोग कर रहा है, वीज़ा ने सहयोग में मानव अंतर्दृष्टि के महत्वपूर्ण भूमिका को उजागर किया है, संभावित धोखाधड़ी का सामना करने के लिए दुकानदारों और अन्य संस्थाओं के साथ मिलकर काम किया है।